Telegram Group & Telegram Channel
За что отвечает температура в softmax?

Softmax используется для перевода логитов (сырых выходов модели) в вероятности. То есть она преобразует изначальный вектор чисел в вектор значений, которые в сумме не превышают единицу. Это позволяет интерпретировать выходы модели как вероятности принадлежности к различным классам.

Однако есть небольшая проблема. Значения на выходном слое могут быть очень разнообразными. И как следствие после применения слоя softmax можно получить распределение вероятностей, где большое ненормализированное значение будет иметь наибольшую вероятность. В таких задачах, как генерация текста, это означает, что модель будет всегда выбирать только самые ожидаемые слова. Регулировать эту ситуацию позволяет температура.

Каждое значение модели просто делится на температуру. Когда температура низкая, модель даёт более уверенные ответы. Когда высокая — менее уверенные.

#глубокое_обучение
👍73



tg-me.com/ds_interview_lib/402
Create:
Last Update:

За что отвечает температура в softmax?

Softmax используется для перевода логитов (сырых выходов модели) в вероятности. То есть она преобразует изначальный вектор чисел в вектор значений, которые в сумме не превышают единицу. Это позволяет интерпретировать выходы модели как вероятности принадлежности к различным классам.

Однако есть небольшая проблема. Значения на выходном слое могут быть очень разнообразными. И как следствие после применения слоя softmax можно получить распределение вероятностей, где большое ненормализированное значение будет иметь наибольшую вероятность. В таких задачах, как генерация текста, это означает, что модель будет всегда выбирать только самые ожидаемые слова. Регулировать эту ситуацию позволяет температура.

Каждое значение модели просто делится на температуру. Когда температура низкая, модель даёт более уверенные ответы. Когда высокая — менее уверенные.

#глубокое_обучение

BY Библиотека собеса по Data Science | вопросы с собеседований


Warning: Undefined variable $i in /var/www/tg-me/post.php on line 283

Share with your friend now:
tg-me.com/ds_interview_lib/402

View MORE
Open in Telegram


Библиотека собеса по Data Science | вопросы с собеседований Telegram | DID YOU KNOW?

Date: |

Why Telegram?

Telegram has no known backdoors and, even though it is come in for criticism for using proprietary encryption methods instead of open-source ones, those have yet to be compromised. While no messaging app can guarantee a 100% impermeable defense against determined attackers, Telegram is vulnerabilities are few and either theoretical or based on spoof files fooling users into actively enabling an attack.

Библиотека собеса по Data Science | вопросы с собеседований from it


Telegram Библиотека собеса по Data Science | вопросы с собеседований
FROM USA